השימוש באתרי אינטרנט הוא כבר יומיומי וטבעי לחלוטין לכל מי שנמצא כאן בסביבה ב-15 השנים האחרונות ובוודאי בחמש השנים האחרונות. כחלק מן ההתפתחות הזו, צברו רבים, גם אם אינם בוני אתרים או מקדמי אתרים מקצועיים, ידע לא מבוטל והם עושים בו שימוש לטיפול שוטף בתחזוקת האתר שלהם. בתוך כך המשתמשים המנוסים הללו, לצד אלה הפחות מנוסים, נחשפים למונחים וכלים מקצועיים שונים, שלא תמיד הם מבינים את מלוא משמעותם, בהם השימוש בקובץ robots.txt ותגי מטא שונים. על הקובץ החביב, מה הוא יודע לעשות ומתי להשתמש בו ועל אחד התגים, noindex, נרחיב מעט במאמר זה.
קובץ robots.txt, הוא קובץ קטן המותקן בשרת האיחסון של האתר והשימוש בו רווח מאד בקרב מקדמי אתרים. אנשים שאינם בקיאים לחלוטין בתחום סבורים שתפקידו הוא לחסום את הגישה של זחלני מנועי החיפוש מלהגיע לתוכנם של דפים מסויימים באתר. אולם, חשוב להבין, שבכל מקרה לא מדובר בחסימה של מנועי החיפוש. בקובץ רשומות למעשה "הודעות", או "בקשות" שונות ממנועי החיפוש (אחד או יותר, עפ"י בחירה) להמנע מלסרוק תוכן של עמודים מסויימים.
אולם - ואת זה חייבים לזכור, מאחר שזוהי טעות די רווחת, שבכך שהקובץ מונע, או מבקש למנוע אינדוקס, אין בכך כדי למנוע את רישום והצגת כתובת האתר או העמוד (URL). במילים אחרות, אם התכוונתם שמבחינת מנועי החיפוש (והגולשים) לא יופיע תוכנם של דפים מסויימים באתר למרות שפירסמתם אותם באתר, השימוש ב"רובוטס" הוא הבחירה הנכונה מבחינתכם.
כדי להסביר את ההבדל, חשוב להבין כיצד גוגל מבצעת את רישום הדפים במאגר הנתונים הענקי שלה: רישום (או "אינדוקס") כזה אינו "פשוט מגיע" מאליו, כלומר הוא אתר או עמוד נרשמים רק ברגע שגוגל נתקלת בקישור אליהם, כלומר אל כתובת (URL). זהו לכן ההסבר לכך שגם אם קובץ ה"רובוטוס" מסמן לגוגל לא לסרוק את התוכן, עדיין יהיה רישום של כתובת העמוד או האתר.
הדרך למנוע רישום כתובות אינה עוברת, אם כך, דרך קובץ ה"רובוטס". במקום זאת, צריך להשתמש בכלי אחר לחלוטין. המדובר הוא במטא תג, הנקרא noindex. זהו תג הנשתל בחלק של ה-HEAD בקוד ה-HTML של העמוד הרצוי.
תחילה מדוע נרצה בכלל למנוע רישום של אתר או עמוד כלשהו. נרצה לעשות זאת מסיבות שונות, למשל משום שלא נרצה שהאתר יופיע בחיפוש במנועי החיפוש עוד קודם שבנייתו הושלמה. כך גם לגבי דפים ספציפיים, שאיננו מעוניינים שיהיו נגישים בחיפוש ישיר במנועי חיפוש. דפים כאלה יכולים להיות למשל דפי "תודה", שאליהם מופנים גולשים שמילאו טופס השארת פרטים, בעקבות דפי-נחיתה מוצלחים ששלחנו. ברור שאם דפי התודה יהיו ניתנים להגעה בקלות ע"י חיפוש במנוע החיפוש, וכלו המתחרים שלנו, באמצעות חיפוש פשוט, לקבל בקלות את המתנות (כמו ספר אלקטרוני, קובץ PDF, או גישה לסירטון וידיאו) שהתכוונתם להעניק אך ורק לגולשים שמילאו את הטופס...
כתיבת הקוד היא פשוטה מאד (ניתן גם לגזור ולהדביק את השורה אל חלק ה-HEAD, כאמור):
בכך הודענו למנוע החיפוש לא רשום את העמוד ולהעלים אותו לחלוטין מדף תוצאות החיפוש.
אפשרות שניה של השימוש בו, כאשר אנו רוצים להעלים אותו מדף תוצאות החיפוש, אבל לאפשר לקישורים שנמצאים בו להוביל לדפים אחרים:
הערה אחרונה, לסיום, חשוב מאד לזכור, במקרה של "העלמת" אתר באופן זמני (עד להשלמת הבניה, למשל), לזכור ולהסיר את תג ה-noindex, משום שללא הסרתו מדף הבית לדוגמה, גוגל ומנועי החיפוש האחרים פשוט יצייתו לבקשה והאתר לא יירשם, כלומר הוא לא יהיה קיים מבחינת הגולשים...
